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(57) Abstract: The invention relates to a method for a hair colour consultation or a hair colour simulation. According to the inventive 
method, a selection of a person's (11) desired hair colours (36) is represented on a display screen (14,15) or a touch screen (22,23), 
by means of a video camera (12), a computer (13) and at least one display screen or touch screen. Actual individual images (21) 
of the person (1 1) are continuously recorded by means of the video camera (12) and are transmitted into the computer (13) in real 
time, in a continuous image sequence. Automatic image editing and image processing is carried out for each individual image (21) 
by means of a device (31) wherein the computer identifies (13) the person's (1 1) hair region (32), changes the hair colour (33) of 
said hair region (32) according to pre-determined specifications, and the modified individual images (21) arc represented in real time 
again on at least one display screen (14, 15) and/or touch screen (22,23). 

[Fortsetzung auf der ndchsten Seite] 



WO 03/020072 Al I tllll IIIIIHI II KIIH lllll lllf I If III Hid Elll) Hill IIII1 lllll 111] III11D Elll III] fill 



SD, SE, SG, SI, SK, SL, TJ, TM, TN, TR, TT, TZ, UA, UG, 
US, UZ, VC, VN, YU, ZA, ZM, ZW. 

(84) Bestimmungsstaaten (regional): ARIPO-Patent (GH, 
GM, KE, LS, MW, MZ, SD, SL, SZ, TZ, UG, ZM, ZW), 
eurasisches Patent (AM, AZ, BY, KG, KZ, MD, RU, TJ, 
TM), europaischcs Patent (AT, BE, BG, CH, CY, CZ, DE, 
DK, EE, ES, FI, FR, GB, GR, IE, IT, LU, MC, NL, PT, 
SE, SK, TR), OAPI-Patent (BF, BJ, CF, CG, CI, CM, GA, 
GN, GQ, GW, ML, MR, NE, SN, TO, TG). 



VerOffentlicht: 

— mit internationalem Recherchenbericht 

Zur Erklarung der Zweibuchstaben-Codes und der anderen 
Abkurzungen wird auf die Erklarungen ("Guidance Notes on 
Codes and Abbreviations") am Anfangjeder regularen Ausgabe 
der PCT-Gazette verwiesen. 



(57) Zusammenfassung: Verfahren fur eine Haarfarbberatung beziehungsweise Haarfarbsimulation, bei dem mittels einer Vide- 
okamera (12), eines Computers (13) und mindestens eines Bildschirms (14,15) bzw. Touchscreen (22,23) eine Auswahl einer ge- 
wtinschten Haarfarbe (36) einer Person (11) auf dem Bildschirm (14,15) bzw. Touchscreen (22,23) dargestellt wird, wobei aktuelle 
Einzelbilder (21) von der Person (11) mittels der Videokamera (12) kontinuierlich aufgenommen und in einer kontinuierlichen Bild- 
folge in den Computer (13) in Echtzeit ubertragen werden, wobei fur jedes Einzelbild (21) mittels einer Einrichtung (31) eine auto- 
matische Bildbearbeitung und Bildverarbeitung durchgefuhrt wird, bei der der Computer ( 1 3) einen Haarbereich (32) der Person (11) 
idenufiziert, die Haarfarbe (33) dieses Haarbereich (32) nach vorgegebenen Spezifikationen andert und die veranderten Einzelbilder 
(21) wiederum in Echtzeit auf mindestens einem Bildschirm (14, 15) oder/und Touchscreen (22,23) darstellt werden. 
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Verfahren flir eine Haarfarbberatung 

Die Erfindung betrifft ein Verfahren fur eine Haarfarbberatung nach der Gattung 
des Oberbegriffs des Anspruchs 1. 

Ein derartiges Verfahren fQr eine Haarfarbberatung ist beispielsweise aus der 
5 EP1147722A1 bekannt, das mit einer statischen, digitalen Portraitaufnahme 

arbeitet und bei dem wahlweise eine gewunschte Frisurfarbe eingegeben und auf 
einem Bildschirm (Display) dargestellt wird. 

Vor einer Entscheidung zu einer neuen Haarfarbe hat eine Person, beispielsweise 
10 eine Friseurkundin, eine Hemmschwelle zu uberwinden, weil sie vorher nicht 
weift, wie sie nachher aussehen wird. Um hier auch den Friseur bei seiner 
Beratungstatigkeit zu unterstutzen, wird mit dem Haarfarbberatungs- 
Computersystem nach der EP1147722A1 ein zweidimensionales Bild (Digitalfoto) 
einer Person mit einer neuen simulierten Haarfarbe versehen und auf einem 
15 Bildschirm dargestellt, wobei das Ergebnis statisch und unnaturlich aussieht. Ein 
Grund, warum die Ergebnisse herkSmmlicher Haarfarbberatungs- 
Computersysteme statisch wirken, ist, dass sie durch ein Stehbild statisch sind. 
Ein Foto kann kein bewegtes, lebendiges Bild ersetzen, wie es die Person 
beispielsweise erfahrt, wenn sie sich nach der Behandlung im Spiegel betrachtet. 

20 

Der Erfindung liegt die Aufgabe zu Grunde, ein gattungsgleiches Verfahren fur 
eine Haarfarbberatung zu schaffen, das die genannten Nachteile nicht aufweist 

Gelbst wird diese Aufgabe nach den Merkmalen des kennzeichnenden Teils des 
25 Anspruchs 1. Durch dieses Verfahren fur eine Haarfarbberatung ist es moglich, 
das Ergebnis einer Haarfarbung vor der eigentlichen FarbverSnderung zu 
visualisieren. Im Gegensatz zu bestehenden Haarfarbberatungssystemen basiert 
es einerseits auf einem dynamischen Videobild und andererseits auf einer 
Farbveranderung der naturlichen Haare der Person. Das Videobild wird durch das 
30 Verfahren in Echtzeit bearbeitet und auf einem Bildschirm wiedergegeben, so 
dass der Eindruck einer Spiegelbenutzung entsteht. Weitere vorteilhafte 
Weiterbildungen der Erfindung gehen aus den Unteranspruchen hervor. 
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Die Erfindung bildet wahlweise ein Betrachten eines seitenrichtigen Bildes oder 
eines eigenen Spiegelbildes nach. Dazu wird mit einer Videokamera das aktuelle 
Bild der Person aufgenommen, von einem Computer automatisch bearbeitet und 
auf einem Bildschirm dargestellt. Durch diese dynamische Darstellung in Echtzeit 
wird der Bildschirm zum Spiegel. Die Aufgabe des Computers ist, das 
Ausgangsbild so zu modifizieren, dass das Ergebnis einer Haarfarbung simuliert 
wird. Zu diesem Zweck muss das Computersystem die Haare der Person 
selbststandig erkennen und daraufhin deren Farbe nach dessen Vorgaben, bzw. 
nach den Vorgaben des Friseurs, verSndern. Auf diese Weise entsteht ein 
dynarnisches, nattirlich wirkendes Simulationsergebnis. Da lediglich das sich 
bewegendes Eigenhaar umgefarbt wird, entfallt der Effekt von aufgesetzt 
wirkenden „ComputerperOcken n mit einer entsprechenden Farbgebung. Die Haare 
fallen natdrlich, sind nicht starr, und die Person kann sich vor dem virtuellen 
Spiegel bewegen, den Kopf drehen, sich von der Seite betrachten, den 
Gesichtsausdruck andern und sich mit der neuen Haarfarbe selbst beurteilen, ob 
die ausgewahlte Wunschhaarfarbe 32 der Erwartung entspricht. Wenn nicht, 
konnen sofort andere Wunschhaarfarben 32 simuliert werden. 

Die Erfindung wird an Hand eines AusfQhrungsbeispiels naher beschrieben. 
Es zeigt: 

Fig. 1 einen schematischen Ablauf eines Verfahrens fOr eine Haarfarbberatung 

als ein Haarfarbberatungssystem; 
Fig. 2 einen schematischen Ablauf eines Verfahrens fOr eine Haarfarbberatung 

mit einem Bildschirm in einer Spiegelbilddarstellung einer Person; 
Fig. 3 einen Bildschirm bzw. Touchscreen mit einer Farbpalette bzw. 

Farbkreisflachenspektrum, und 
Fig. 4 ein Flussdiagramm des Verfahrens. 

Die Fig. 1 zeigt einen schematischen Ablauf eines Verfahrens fur eine 
Haarfarbberatung als ein Haarfarbberatungssystem 1, bei dem mittels einer 
Videokamera 12, eines Computers 13 und mindestens eines Bildschirms 14 bzw. 
Touchscreen 22 eine Auswahl und Darstellung einer gewunschten Haarfarbe 36 
einer Person 11 auf dem Bildschirm/ Touchscreen 14,22 dargestellt wird, wobei 
aktuelle Einzelbilder 21 der Person 1 1 von der Videokamera 12 kontinuierlich 
aufgenommen werden. Diese kontinuierliche Bildfolge von Einzelbildern 21 der 
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Videokamera 12 wird in Echtzeit an den Computer 13 Qbertragen, Dort wird fOr 
jedes Einzelbild 21 mittels einer Einrichtung 31 eine automatische 
Bildbearbeitung und Bildverarbeitung durchgefQhrt, bei der der Computer 13 
einen Haarbereich 32 der Person 1 1 durch Segmentierung identifiziert, was eine 
5 Erkennung und Trennung von relevanten Bildbereichen bedeutet sowie auch 
deren natOrliche Haarfarbe 33, die Haarfarbe 33 dieses Haarbereiches 32 nach 
vorgegebenen Spezifikationen andert und die ver&nderten Einzelbilder 21 
wiederum in Echtzeit auf mindestens einem Bildschirm 14, 15 bzw. Touchscreen 
22,23 darstellt. Echtzeit bedeutet in diesem Kontext: mit einer von der Person 11 
10 nicht oder kaum wahrnehmbaren Zeitverzogerung zwischen den einzelnen 

Bildaufnahmen 21 und der Darstellung am Bildschirm 14, 15 bzw. Touchscreen 
22,23 mit einer flQssigen Darstellung der Bewegungen. Daraus folgt unter 
anderem auch eine minimale Bildrate von ungef§hr zehn Einzelbildern 21 pro 
Sekunde. 

15 

Vor einer eigentlichen Simulation mit einer neuen Wunschhaarfarbe 36 werden 
dem Computer 13 gewisse Anfangsparameter mitgeteilt (Initialisierung). Hierzu 
verarbeitet die Einrichtung 31 kontinuierlich und automatisch manuell 
eingegebene Anfangsparameter eines Bildbereichs 34, wobei als mindestens ein 

20 Anfangsparameter ein Haarbereich 32 markiert und von einer wahlweisen 
Wunschhaarfarbe 36 besetzt wird. Als weitere Kombinationen von 
Anfangsparametern konnen vorgesehen werden, bei welchen Bildbereichen 34 es 
sich urn einen Haarbereich 32 und urn einen Hautgrund 35 handelt, und wodurch 
diese charakterisiert werden (Farbtdne, Textur, Morphologie usw.), welche 

25 (natGrliche) Ausgangshaarfarbe 33 vorherrscht und welche Farbe 

(Wunschhaarfarbe 36) gewQnscht wird. Das kann Ciber Anwahlen Oder Maskieren 
von Bildbereichen 34 oder Schaltflachen eines oder mehrerer BedienmenGs auf 
dem Bildschirm 14 f 15 bzw. Touchscreen 22,23 geschehen. Die zu diesem Zweck 
erforderlichen Eingabegerate konnen beispielsweise als Maus 17 oder ahnliches 

30 (Trackball, Touchpad usw.), als Tastatur 16 oder/und als mindestens ein 

Touchscreen 22,23 vorgesehen werden. Die Initialisierungsphase kann unter 
anderem notig sein, um dem Computer 13 mitzuteilen, welche Bildbereiche 34 
des Haarbereichs 32 die Frisur 37 darstellen, die vom restlichen Bild separiert 
und umgefarbt werden soli. Dies kann beispielsweise dadurch geschehen, dass 

35 der Benutzer mindestens in einem der Bildbereiche 34 das Haar 18, die Haut 19' 
und einen Hintergrund 38 einen oder mehrere Punkte oder einen oder mehrere 
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Bereiche markiert. Es ist aufierdem moglich, dass Bereiche markiert werden, die 
explizit nicht umgefarbt werden sollen, wie z. B. Augenbrauen, Koteletten oder 
Bart. Urn dem Computer 13 die Erkennung der Haarbereiche 32 zu erleichtern 
und die Fehleranfalligkeit des Haarfarbberatungssystems 1 gering zu halten, ist 
5 es vorteilhaft, ein Bild von einer Person 11 vor einem homogenen, einfarbigen 
Hintergrund 38 mit moglichst einer definierten Beleuchtung aufzunehmen. 

Der Haarbereich 32 wird durch eine automatische Analyse naheliegender und 
ahnlicher Pixelfarbwerte kontinuierlich markiert und von der Wunschhaarfarbe 36 

10 entsprechend besetzt, woraus sich ein einfaches NachfOhrverfahren des durch 
Bewegung der Person 11 sich laufend andernden Haarbereichs 32 ergibt. Hierzu 
wird zur Analyse naheliegender und ahnlicher Pixelfarbwerte ein reprSsentativer 
Teilbereich des Haarbereichs 32 manuell ausgewahlt und dann die automatische 
Analyse gestartet, wodurch die Einrichtung 31 zur kontinuierlichen 

15 Bildbearbeitung lediglich den Haarbereich 32 mit der Wunschhaarfarbe 36 zu 

bearbeiten hat. Dieser automatischen Markierung liegt die Oberlegung zu Grunde, 
dass die Ausgangshaarfarbe 33 im Haarbereich 32 eine zusammenhangende 
Fiache naheliegender und ahnlicher Pixelfarbwerte aufweist, die sich vom ubrigen 
Bildbereich 34 deutlich differenzieren lassen. 

20 

Der Haarbereich 32 kann aber wahlweise durch eine automatische Analyse einer 
zusammenhangender Textur oder/und zusammenhangender geomorphologischer 
Eigenschaften kontinuierlich markiert werden, urn den Obrigen Bildbereich 34 
deutlich zu differenzieren. 

25 

Je nach Anwendungsbereich (Friseur/Retail) kann auller der Person 11 auch ein 
Berater, zum Beispiel ein Friseur, anwesend sein. In diesem Fall ist es sinnvoll, 
wenn der Friseur fOr die Programmbedienung und Initialisierung einen eigenen, 
zweiten Bildschirm 15 bzw. Touchscreen 23 zur VerfOgung hat. Auf diesem 

30 zweiten Bildschirm 15 bzw. Touchscreen 23 kdnnen zusatziich zu dem 

Kamerabild fOr die Bedienung wichtige Informationen dargestellt werden, zum 
Beispiel die Farbpalette 47 (Fig. 3) der Zielhaarfarben (Wunschfarbe 36), so dass 
auf dem ersten Bildschirm 14 bzw. Touchscreen 22 fQr die Person 11 nur das 
Simulationsergebnis sichtbar zu sein braucht. Der Touchscreen 22,23 hat den 

35 Vorteil, dass weitere EingabegerSte QberflQssig sind, da entsprechende 
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Bedienmenus oder Schaltfiachen direkt durch Antippen mit einem Finger oder 
Stift auf der Touchscreen-Oberflache aktiviert werden. 

In einer bevorzugten AusfOhrung werden die kontinuieriichen Videobilder der 
5 Person 1 1 vom Computer 13 stetig urn eine vertikale Achse gespiegelt auf dem 
Bildschirm 14 als ein Spiegelbild 39 dargestellt (Fig. 2). Dadurch wird der 
Eindruck erzeugt, als betrachte man sich in einem Spiegel, was den allt&glichen 
Gewohnheiten entgegen kommt und den ungezwungenen Umgang mit dem 
Haarfarbberatungssystem 1 fSrdert. Urn eine Parallaxe zwischen der 

10 Videokamera 12 und dem Bildschirm 14,15 bzw. Touchscreen 22,23 zu 

minimieren, sollte die Videokamera 12 dicht am oberen Rand des Bildschirms 
14,15,22,23 positioniert sein, wie beispielsweise nach der DE19635753A1, Fig. 4. 
Im Idealfall fallt die optische Achse des Videobildes 34 mit der optischen Achse 
des Bildschirms 14,15 bzw. Touchscreen 22,23 zusammen, urn die Parallaxe 

15 vollstSndig zu vermeiden. Eine entsprechende LQsung ist beispielsweise auch in 
der DE19635753A1 zu Fig. 5 beschrieben. Urn den Effekt eines Spiegels zu 
perfektionieren, sollte der Abbildungsmalistab von der Person 11 und des 
Bildschirms 14,15 bzw. Touchscreen 22,23 ungefahr 1:1 sein. 

20 In einer besonderen Ausbildung ist vorgesehen, die Haarfarbe 33 kontinuierlich 
und in einem Zyklus nach einem Farbkreisflachenspektrum 48 (Fig. 3) zu 
verSndern, wobei ein Start oder Stopp dieser laufenden Farbveranderung 
vorgesehen ist. Dadurch entfailt eine gezielte Eingabe einer Wunschhaarfarbe 36 
aus einer Farbpalette 47, da in dem Moment, wo eine Person 1 1 glaubt, einen zu 

25 ihr passenden Farbton gefunden zu haben, die laufende Farbveranderung einfach 
stoppt und auch noch in diesem Bereich den gestoppten Farbton manuell 
verschieben kann, bis die eigentliche Wunschhaarfarbe 36 getroffen ist. Der 
Zyklus der laufenden Farbveranderung ist in seiner Wiederholfrequenz frei 
wahlbar, wodurch dieser individuell an eine Person 1 1 angepasst werden kann. 

30 Diese laufende Farbveranderung eignet sich auch besonders gut fOr eine 

werbewirksame Demonstration fOr eine HaarfarbverSnderung einer Kundin 11 in 
beispielsweise einem Drogeriemarkt, wobei wahlweise zur Werbung ein 
entsprechender Videofilm auf dem Bildschirm 14,15 gezeigt werden kann. 

35 In der Fig. 4 ist ein schematisches Flussdiagramm des Verfahrens dargestellt. 
Neben einer Eingabe einer Bildaufnahme 40, wobei es ein bewegtes Videobild 
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oder zunachst nur ein Einzelbild 21 sein kann, ist gegebenenfalls eine Eingabe 
von Zusatzinformationen 41 (beispielsweise vom Friseur bestimmte 
Ausgangshaarfarbe der Kundin und/oder der Grauanteil, aber auch allgemeine 
Kundendaten) vorgesehen sowie eine Eingabe einer Auswahl einer 
Wunschhaarfarbe 36 und eine Eingabe einer Markierung 42 mindestens eines 
Bildbereichs 34, wobei die Reihenfolge beliebig ist. Diese Daten flielSen in eine 
Initialisierungseinrichtung 43 ein, in der das Verfahren gestartet wird und in eine 
Segmentierungseinrichtung 44 einflieften, in der eine Erkennung und Trennung 
von relevanten Bildbereichen 34 erfolgt. Nach einer Transformation der 
Ausgangshaarfarbe 33 in die vorgegebene Wunschhaarfarbe 36 in einer 
Farbtransformationseinrichtung 45 erfolgt eine entsprechende Bilddarstellung 46 
eines Einzelbildes 21 einer Person 1 1 mit der Wunschhaarfarbe 36 auf einem 
Biidschirm 14,15 bzw. Touchscreen 22,23. Die nachstfolgenden Einzelbilder 21 
der Videoaufnahme werden entsprechendend verarbeitet und fortiaufend 
dargestellt, wobei eine Bildwiedergabefrequenz von ungefahr 10 bis 30 Bilder pro 
Sekunde vorgesehen ist, wodurch ein flieftendes, bewegtes Bild entsteht. Es 
kann aber auch vorgesehen werden, dass lediglich eine Wunschhaarfarbe 36 zur 
Initialisierung ausreicht, wenn die Qbrigen Parameter bzw. Spezifikationen 
automatisch erfasst und verarbeitet werden. 

Da nur ein Teilaspekt des realen Bildes modifiziert wird, gibt es keine 
Diskrepanzen zwischen realen und virtuellen Bildelementen, w(e beispielsweise 
Winkel- und Positionsungenauigkeiten, unterschiedlicher Beleuchtung der 
verschiedenen Bildelemente, Skalierungsfehler usw. Auch gibt es keine 
Verdeckungsproblematik, da nicht berechnet werden muss, welche Teile des 
virtuellen Bildelements vom realen Bild verdeckt werden. Da das reale Bild nur in 
der Farbe verSndert wird, verhait sich das Haar einer Person automatisch 
physikalisch korrekt, was eine natQrliche Wirkung auch einer Bewegung der 
Person bei der Wiedergabe auf dem Biidschirm bzw. Touchscreen bewirkt. 
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Bezugszeichenliste: 

I Haarfarbberatungssystem 

I I Person 

12 Videokamera 

13 Computer 

14 Erster Bildschirm 

15 Zweiter Bildschirm 

16 Eingabetastatur 

17 Maus 

18 Haar 

19 Haut 

21 Einzelbild 

22 Erster Touchscreen 

23 Zweiter Touchscreen 

31 Einrichtung 

32 Haarbereich 

33 Ausgangshaarfarbe 

34 Bildbereich 

35 Hautgrund 

36 Wunschhaarfarbe 

37 Frisur 

38 Hintergrund 

39 Spiegelbild 

40 Bildaufnahme 

41 Zusatzinformationen 

42 Markierung 

43 Initialisierungseinrichtung 

44 Segmentierungseinrichtung 

45 Farbtransformationseinrichtung 

46 Bilddarstellung 

47 Farbpalette 

48 Farbkreisfiachenspektrum 
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Patentanspruche 

1. Verfahren fOr eine Haarfarbberatung beziehungsweise Haarfarbsimulation, bei 
dem mittels einer Videokamera, eines Computers und mindestens eines 
Bildschirms eine Auswahl einer gewunschten Haarfarbe einer Person auf dem 
Bildschirm dargestellt wird, dadurch gekennzeichnet, dass aktuelle Einzelbilder 
5 (21) von der Person (11) mittels der Videokamera (12) kontinuierlich 

aufgenommen und in einer kontinuierlichen Bildfolge in den Computer (13) in 
Echtzeit ubertragen werden, wobei fQr jedes Einzelbild (21) mittels einer 
Einrichtung (31) eine automatische Bildbearbeitung und Bildverarbeitung 
durchgefuhrt wird, bei der der Computer (13) einen Haarbereich (32) der Person 
10 (11) identifiziert, die Haarfarbe (33) dieses Haarbereichs (32) nach vorgegebenen 
Spezifikationen Sndert und die verSnderten Einzelbilder (21) wiederum in Echtzeit 
auf mindestens einem Bildschirm (14, 15) oder/und Touchscreen (22,23) darstellt 
werden. 

15 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Einrichtung 

(31) manuell eingegebene Anfangsparameter eines Bildbereiches (34) zur 
Initialisierung kontinuierlich automatisch verarbeitet, wobei als mindestens ein 
Anfangsparameter der Haarbereich (32) markiert und von einer wahlweisen 
Wunschhaarfarbe (36) besetzt wird. 

20 

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Haarbereich 

(32) durch eine automatische Analyse naheliegender und ahnlicher 
Pixelfarbwerte der Ausgangshaarfarbe (33) kontinuierlich markiert wird. 

25 4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Haarbereich 
(32) durch eine automatische Analyse einer zusammenhangender Textur 
oder/und zusammenhangender geomorphologischer Eigenschaften kontinuierlich 
markiert wird. 

30 5. Verfahren nach mindestens Anspruch 1, dadurch gekennzeichnet, dass die 
Wunschhaarfarbe (36) wahlweise von mindestens einem Touchscreen (22,23) 
oder/und von mindestens einem Bildschirm (14,15) durch eine Eingabetastatur 
(16) oder durch eine Maus (17) in den Computer (13) eingegeben wird. 
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6. Verfahren nach mindestens Anspruch 1, dadurch gekennzeichnet, dass die 
Bildfolge von mehreren Einzelbildern (21) mindestens vom Bildschirm (14) ftir die 
Kundin (11) als ein Spiegelbild (39) dargestellt wird. 

5 7. Verfahren nach mindestens Anspruch 1, dadurch gekennzeichnet, dass die 
Haarfarbe (33) kontinuierlich und in einem Zyklus nach einem 
Farbkreisflachenspektrum (48) verandert wird, wobei ein Start Oder Stopp dieser 
laufenden Farbveranderung vorgesehen ist. 

10 8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Zyklus in 
seiner Wiederholfrequenz frei wahlbar ist. 
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